#Semantic Retrieval

5 篇

Better Nearest Neighbor Graph Indices via (Efficient) LLM-Guided Pruning

通过 LLM 引导剪枝改进最近邻图索引

🧭 LLM 离线精修图索引 · 语义检索 ★ 深度解读

University of Wisconsin–Madison · MIT

提出 LGP，在 DiskANN/HNSW 图索引上离线用 LLM 替换低价值邻居，弥合几何构造与语义评估错配

📌 工作参考价值（4 点）

可在现有 HNSW/DiskANN 等图索引上增加离线 LLM 精修环节：对每个节点，用两跳非邻居构造小候选池，先按结构冗余/两跳可达性筛到 M=12~24，再让 LLM 只选 B=2 个语义互补候选替换低价值边；不改查询链路，直接提升低 search width 下的召回与 NDCG。
该方法的收益在窄 search width/低距离计算预算下最大，适合召回候选受限、重排器无米下锅的场景；可作为索引侧优化，和 query-time rerank/RGS 等互补。
工程上 LLM 调用只发生在离线构图阶段，按节点短list 调用，成本可控；可先对高流量 query 相关节点或重要类目做部分精修（β=0.25/0.5），再逐步放开到全图。
语义选择模型越强收益越明显（Qwen3-32B > Qwen3-8B），且对 embedding 模型鲁棒；建议用非推理模式的小 LLM/VLM 控制成本，避免破坏图导航。

RAG | 2026-09-28 | cs.IR | score 8/10

Learning from What You Retrieve: Online RL Fine-Tuning for Semantic Retrieval

从检索结果中学习：语义检索的在线 RL 微调

🧭 语义检索 · 在线 RL 微调 ★ 深度解读

Alibaba Group

提出 PAO，在冻结文档索引下只对正 advantage 样本做 RL 更新，避免 embedding 几何塌缩并提升检索效果

📌 工作参考价值（4 点）

工业双塔召回中文档索引冻结是常态，PAO 的 RL 更新只作用于 query encoder，无需重建索引；可直接改造现有 REINFORCE：对 advantage 加 I(A>0) mask，并加入 KL 到预训练 reference policy，工程落地成本低。
如果业务上用 reranker 或点击信号作为 reward 做在线 RL，不要无差别惩罚低 reward 样本。标准 policy gradient 的负向 push 会破坏预训练语义流形；优先只利用正 reward 的 pull 信号，能更稳定地做 retriever-reranker 对齐。
与直接蒸馏 reranker soft distribution 相比，positive-only policy gradient 在冻结索引下更稳，尤其深层召回 Recall@50 提升更明显；当目标是对齐精排偏好时，可优先考虑 PAO 而非全局 KL 蒸馏。
使用标准化 advantage 降低方差；β=0.1~0.3、τ≈1.0 是较稳健的超参区间。注意 reward model 的偏差会传导到召回，若 reranker 偏好标题党，需要多目标或额外约束。

RecSys | 2026-08-31 | cs.IR | score 9/10

Semantic Retrieval Reinforcement Learning Dual Encoder Frozen Index E-commerce Search Query Encoder

Atomic Intent Reasoning: Bringing LLM Semantics to Industrial Cross-Domain Recommendations

原子意图推理：将 LLM 语义引入工业跨域推荐

🧭 跨域推荐 · LLM 意图缓存与检索 ★ 深度解读

The Hong Kong Polytechnic University · Kuaishou Technology

离线将用户行为拆解为原子意图并缓存，在线动态组合实现 LLM 级语义推理，延迟仅 20ms

📌 工作参考价值（4 点）

离线 LLM 意图预计算 + 在线轻量聚合：把昂贵的大模型推理完全移到离线阶段，将用户事件转化为可检索的原子意图对（action-intent pair），在线仅做 KV 检索和树合并。在电商/内容平台的跨域推荐中，可以直接复用这种“离线语义提炼、在线实时组合”的范式，突破 LLM 在线推理的延迟瓶颈，同时保持语义信号。
层次用户意图树的构建与多行为权重：用意图树组织 coarse-to-fine 的偏好，节点权重融合 click/order/view 等多种行为计数并引入时间衰减。在自己的业务中，可以借鉴这种多行为强度加权与时效性折损的统一方案，有效压缩超长、异构行为序列，避免喂入原始全量序列的噪声与计算开销。
目标感知的意图检索与证据压缩：根据候选商品 embedding 从意图树中检索相关链，再按语义相似度和时间有效性裁剪支持证据序列，输出一个紧凑的“意图链+行为证据”作为 CTR 模型输入。在重排或精排环节，这可以提供高度目标相关的精简特征，代替手工构造的跨域行为序列特征，提升预测效果。
多注意力融合意图表示：将检索到的意图链 token 以 MHA 方式与目标商品 embedding 交互，不同 head 捕捉不同粒度的偏好。可以作为排序模型中一个可插拔的目标感知用户表示模块，插入到现有的 DNN 排序塔中，只需增加较小的计算量。

RecSys | 2026-06-09 | cs.IR | score 10/10

Cross-Domain Recommendation LLM Intent Modeling Industrial Deployment Semantic Retrieval CTR Prediction

Semantic Retrieval for Product Search in E-Commerce

电商产品搜索中的语义检索：两阶段 Siamese LLM 训练与相对几率对齐

🧭 电商语义检索 · 两阶段训练与偏好对齐 ★ 深度解读

Flipkart, India

通过对比学习与分级偏好对齐两阶段训练，让 LLM 双塔在电商搜索中实现细粒度相关性排序，A/B 实验提升 CTR/加购/下单

📌 工作参考价值（4 点）

两阶段训练可直接用于电商双塔：先用大量行为+标注数据做对比学习，再引入偏好对齐（ROAR）对多级相关性（完全匹配 > 替代品 > 互补品 > 无关）进行精排，离线 MAP@8 提升 5.57 个百分点，在线 CTR/加购/订单均有显著提升。
假阴性掩码解决同一商品多规格问题：在对比学习时，如果批次内存在相似商品（如不同尺码），传统负采样会错误地惩罚它们，使用 margin mask（cos(q, d_i) - cos(q, d_pos) < 0.1）自动排除假阴性，可在电商推荐的双塔训练中直接复用。
ROAR 对齐目标可推广到任意级数：该目标基于条件几率比，支持每组 2～7 个产品，通过连续 odds-ratio 边际实现分级偏好排序，不需要固定标签数，适合电商中“完全匹配 > 替代 > 互补 > 无关”等多级信号。
数据增强策略值得借鉴：利用 LLM 做同义词扩展、对抗性拼写扰动、多语言音译，以及从推荐系统的共点击信号和 session 改写中构建替代品监督，可有效提升长尾查询的召回，尤其是品牌、型号等特定词汇的语义泛化。

RecSys | 2026-05-31 | cs.IR | score 10/10

Semantic Retrieval Dual Encoder Contrastive Learning Preference Alignment E-commerce Search LoRA

LLM Retrieval for Stable and Predictable Ad Recommendations

稳定可预测广告推荐的LLM检索框架

🧭 LLM语义表征增强广告可预测性 ★ 深度解读

Meta Platforms, Inc.

提出基于LLM语义属性与图扩展的广告候选生成，线上可预测性指标A/A'差异降低8.62%，收入提升0.45%。

📌 工作参考价值（4 点）

可预测性指标(A/A'差异)可作为系统稳定性新指标：在电商推荐中，可用来评估模型对商品描述微调、ID切换等输入扰动的鲁棒性，提前发现因特征工程缺陷导致的冷启动或收入波动问题。
利用LLM离线提取商品/广告的层次化语义属性（品类、品牌、上下文描述等），构建语义图，通过Jaccard相似度的图遍历实现语义相似召回；该通道可与现有双塔、图召回共存，作为补充候选源，提升召回多样性和长尾覆盖。
工程上采用离线LLM批量生成元数据+在线查图服务的模式，避免实时LLM推理的高延迟；对于电商推荐，可将商品描述输入LLaMA等模型，生成结构化属性，再通过近似匹配进行相似商品扩展，成本可控。
实验表明LLM候选生成器能有效提升最终召回（+1.2%）和线上收入（+0.45%），且对A/A'波动抑制明显（MAD改善45%），推荐业务可将其作为稳定性优化组件，尤其适合需要高频更新商品库的场景。

RecSys | 2026-05-21 | cs.IR | score 10/10

LLM Ads Semantic Retrieval Predictability Graph Traversal Candidate Generation